Leyes de escalado de modelos meteorológicos globales
Descubre cómo las leyes de escalado revelan que aumentar datos y anchura mejora más que el tamaño del modelo en predicción meteorológica con IA.
#leyes de escala
Unificando datos, memoria y cómputo en entrenamiento de LLMs
Descubre cómo unificar la eficiencia en datos, memoria y cómputo para entrenar LLMs de forma óptima bajo presupuestos limitados. Aprende técnicas clave.
Modelo generativo profundo para el comportamiento de movilidad humana
Descubre cómo MobilityGen, un modelo generativo basado en difusión, simula patrones de movilidad humana realistas y analiza el acceso urbano y la segregación social.
Leyes de escalado para transformers de reconstrucción enmascarada en células únicas
Primer estudio de leyes de escalado en transformers para transcriptómica unicelular. Con datos suficientes, el rendimiento sigue una ley de potencia. Ideal para modelos fundacionales.
Kunlun: Leyes de escalado en sistemas de recomendación masivos
Descubre cómo Kunlun duplica la eficiencia de escalado en sistemas de recomendación, elevando el MFU del 17% al 37% en GPUs NVIDIA. ¡Optimiza tus modelos!
Explicando las leyes de escalado en mezcla de datos
Descubre cómo las leyes de escalado explican la mezcla de datos en IA. Aprende sobre competencia de capacidad y reducción de ruido para optimizar modelos.
Leyes de Escalado de Respuesta a Ítems: Una Teoría de Medición para Escalado Neuronal
IRSL integra la Teoría de Respuesta al Ítem para estimar escalado neuronal con solo 50 preguntas, reduciendo datos un 99.9%.
Ciencia de la IA: estudiar dinámicas de entrenamiento, no arreglar en post
Estudiar la dinámica del entrenamiento, no solo arreglar en postproducción. Descubre cómo predecir, intervenir y diseñar mejores sistemas de IA.
Preentrenamiento con datos limitados: regularización mejorada y leyes de escalado
La regularización MIR y la ley SoftQ mejoran el preentrenamiento con datos limitados, equivalente a 1.3 veces más datos.
Pretraining de modelos de lenguaje con datos limitados: regularización y escalado
Nuevo estudio propone regularización MIR y ley de escalado SoftQ para pretraining con datos limitados, logrando mejoras equivalentes a 1.3x más datos únicos.
Aprendizaje automático para modelado de turbulencia a escala electrónica en W7-X
Machine learning crea modelos reducidos para predecir turbulencia ETG en W7-X y mejorar predicciones de perfiles de plasma.
Leyes de escalamiento y espectros en redes neuronales superficiales
Descubre cómo las leyes de escalamiento en redes superficiales vinculan espectros de pesos y generalización, validando observaciones empíricas.
Leyes de escalado y espectros en redes neuronales superficiales
Descubre cómo las leyes de escalado en redes superficiales explican la generalización mediante el espectro de pesos. Validación teórica.
Leyes de escalado espectral de Muon
Descubre las leyes de escalado espectral de Muon: cómo las iteraciones Newton-Schulz afectan el entrenamiento de LLMs. Ahorra cómputo sin sacrificar calidad.
Marco de variables latentes para leyes de escalado en LLMs
Descubre un nuevo marco estadístico con variables latentes para predecir rendimiento de LLMs en múltiples benchmarks. Ideal para entender leyes de escalado.
Amenazas a la validez en investigación de modelos fundacionales
Descubre cómo ahorrar en computación al investigar modelos fundacionales puede comprometer la validez. Aprende a identificar y evaluar estas amenazas con un marco práctico.
Datos sintéticos de calidad permiten primeras leyes de escalado para LLMs en recomendación
Descubre cómo datos sintéticos de calidad permiten las primeras leyes de escalado para LLMs en recomendación, superando datos reales.
Estructura y Escala en Modelado de Secuencias Simpliciales
¿Cómo se relacionan las leyes de escalado con las representaciones internas en deep learning? Este estudio revela una correlación entre rendimiento y estructura
Soberanía de IA: aprendizaje nacional en Francia, EE.UU. y China
Francia, EE.UU. y China logran soberanía en IA regulando su aprendizaje nacional. Modelo basado en aprendizaje centrado en humanos.
Cuando datos escasean: escalando modelos dispersos con entrenamiento repetido
Optimiza el escalado de modelos dispersos con datos limitados. Descubre leyes de escalado, saturación retardada y compensaciones clave.